Sử dụng một wiki để tạo lập nội dung bách khoa toàn thư đã được Larry Sanger đề ra từ ngày 10 tháng 1 năm 2001. Wales thiết lập và khởi động nó ngày 15 tháng 1 năm 2001. Vào lúc ấy Wikipedia chỉ là một trang điện tử thiết kế theo kỹ thuật wiki (cho phép độc giả dễ dàng tiếp cận để biên tập nội dung bài viết bằng cách thêm, bớt hoặc chỉnh sửa) như là một dụng cụ hợp soạn nội dung ban đầu của bách khoa toàn thư cho Nupedia. Nhưng chính sự phát triển vượt trội của Wikipedia mau chóng giúp nó trở thành đề án chính trong khi Nupedia bị loại bỏ.[8]

Năm 2002, Sanger ra khỏi dự án, đưa lên mạng lời từ chức. Từ đó ông chỉ trích phương pháp của Wales là "chống lại giới tinh hoa".[9] Đáp lại, Wales mô tả mình là "chống giới khoa bảng (anti-credentialist). "Đối với tôi, điều quan trọng là nhận định đúng sự việc. Nếu một người thực sự thông minh và tỏ ra tuyệt vời trong công việc, tôi không quan tâm về việc người ấy chỉ là một học sinh trung học hay là một giáo sư Harvard; hiệu quả công việc mới là quan trọng … Tại Wikipedia bạn không thể dựa trên học vị … Bạn phải tiến vào thị trường ý tưởng (nơi chân lý hoặc phương pháp tốt nhất đến từ quy trình chọn lọc dựa trên sự cạnh tranh của các ý tưởng khác nhau, được trình bày tự do và công khai) và phải cộng tác với người khác."[6]

Vào giữa năm 2003, Wales thành lập Quỹ Hỗ trợ Wikimedia, một tổ chức phi lợi nhuận đặt trụ sở tại St. Petersburg, tiểu bang Florida, nhằm hỗ trợ Wikipedia và các đề án anh em còn non trẻ của nó. Wales tự bổ nhiệm mình và hai đồng sự, hoạt động tích cực cho Wikipedia, vào ban quản trị năm thành viên; hai người còn lại được bầu chọn bởi các đại diện của cộng đồng. Động thái này giải thoát Wales và Bomis khỏi gánh nặng tài chính hỗ trợ Wikipedia trong khi giúp ông duy trì vị trí lãnh đạo trọn đời.

Năm 2004, Wales nói rằng ông đã chi tiêu khoảng 500.000 USD để thành lập và điều hành các đề án Wiki. Đến cuối cuộc vận động vào tháng 1 năm 2005, Quỹ Hỗ trợ Wikimedia hoàn toàn được hỗ trợ tài chính bởi những khoản tặng lớn. Wales ngày càng tập trung hơn vào công tác quảng bá các đề án của tổ chức và thường xuyên đi diễn thuyết. Ngày 14 tháng 4 năm 2006, Wales nói chuyện tại Quỹ Long Now của Steward Brand với đề tài "Viễn kiến: Wikipedia và Tương lai của Văn hoá Tự do", thảo luận về những triết lý nền của Wikipedia, sự ủng hộ của ông dành cho phong trào Văn hoá Tự do, cùng những khó khăn Tổ chức Wikipedia có thể gặp khi phát triển quy mô của mình.

Tranh cãi về nguồn gốc của Wikipedia

Trong khi Larry Sanger tự nhận mình là người đồng sáng lập Wikipedia từ tháng 1 năm 2002,[10] Wales luôn luôn gọi mình là nhà sáng lập duy nhất của Wikipedia. Báo chí trước đây thường gọi Sanger và Wales là người đồng sáng lập, nhưng điều này đã thay đổi sau khi Sanger ra đi. Một bài viết trên tạp chí Newsweek năm 2004 nói "(Wales) tạo lập Wikipedia" mà không nhắc đến Sanger.[11] Năm 2006, Wales nói với báo Boston Globe rằng "thật ngớ ngẩn" nếu gọi Sanger là người đồng sáng lập.[12] Sanger phản ứng quyết liệt, tuyên bố rằng không chỉ có công phát triển Wikipedia trong giai đoạn đầu, ông cũng là người đưa ra ý tưởng ứng dụng khái niệm wiki vào việc xây dựng một bộ bách khoa toàn thư mở. Rõ ràng là Sanger đã đặt tên cho đề án. Ông nói, "Tôi nhớ rất rõ buổi chiều tôi nghĩ ra ý tưởng này cho Wikipedia. "Tuy nhiên, Sanger thừa nhận từ Wales nẩy sinh nhiều ý tưởng bao quát hơn: "Nói cho rõ, ý tưởng về một nguồn mở, một bách khoa toàn thư của sự hợp tác, mở ra cho độc giả bình thường cùng đóng góp, hoàn toàn là của Jimmy, không phải của tôi, và ngân quỹ là đến từ Bomis. (…) Wales giao cho tôi trách nhiệm phát triển bộ bách khoa toàn thư này."[13] Wales cho rằng một nhân viên của Bomis tên Jeremy Rosenfeld là người "đã đến cùng với ý tưởng làm một bách khoa toàn thư dựa trên nguyên lý wiki",[14] mặc dù ông cũng thừa nhận không có mối liên hệ nhân quả giữa lời đề nghị này và sự tạo lập Wikipedia.[15]